Họ Đỗ ở Đỗ Lăng, Kinh Triệu là sĩ tộc từ đời Tây Hán, nguyên tổ là Ngự sử đại phu Đỗ Chu, những hậu duệ nổi tiếng có Đỗ Độ (nhà thư pháp đời Đông Hán), Đỗ Dự (tướng lãnh đời Tây Tấn), Đỗ Viện, Đỗ Tuệ Độ (Giao Châu thứ sử đời Đông Tấn – Lưu Tống), Đỗ Như Hối (khai quốc công thần đời Đường), Đỗ Hữu (tể tướng, sử gia đời Đường), Đỗ Mục (nhà thơ đời Đường),...

Ông cụ là Linh Khải, làm Cấp sự trung nhà Nam Tề. Ông nội là Hoài Bảo, hưởng ứng Tiêu Diễn dấy binh chống lại Đông Hôn hầu, làm đến Lương Châu thứ sử. Cha là Sầm, con trai thứ hai của Hoài Bảo .

Kham là con rể của Vương Tăng Biện, sử cũ không chép rõ thời điểm Tăng Biện gả con gái cho ông.